Vom 17. bis Anfang des 19. Jhs. wurden von den verschiedenen Besitzern bauliche Veränderungen vorgenommen, die die mittelalterliche Substanz überformten. Vor 1850 wurden jedenfalls der „Alte Bau“, der „Fach(werk)bau“ sowie der „Mittelbau“ errichtet, die auf einem Plan von 1868 genannt werden und den viereckigen Innenhof an drei Seiten umgeben.  Die prägendsten, das heutige Erscheinungsbild bestimmenden Veränderungen fanden in der Zeit statt, als Erzherzog Stephan von Österreich Eigentümer der Burg war. Nach seinen Vorstellungen wurde die Burganlage 1850-55 durch Carl Boos im Stil der englischen Neugotik völlig umgestaltet. Dabei wurde einerseits die vorhandene Architektur geschickt überformt, andererseits auch wirkungsvolle Neubauten errichtet.

Deren markanteste sind der westlich an den Hof anschließende, gestreckte dreigeschossige Stephansflügel mit schlanken achteckigen Türmchen an der schmalen Westseite und zweiachsigem Mittelrisalit an der Hoffront sowie der mächtige, die Gesamtanlage überragende Josephsturm, alle mit neugotischen Zinnen versehen. Durch diese vertikalen Akzente wurde die Fernwirkung völlig verändert. Auch die Hoffassade wurde dem repräsentativen Gebrauch entsprechend umgestaltet und stilistisch vereinheitlicht.
Rechtwinklig zum neuen Hauptbau schließt sich unter Verwendung mittelalterlichen Mauerwerks und spätmittelalterlicher Bauteile der Ostflügel mit zwei an Südost- und Nordostecke vorspringenden Rundtürmen an. Die Hoffront mit einem von zwei Bronzestatuen flankierten Hauptportal ist in Material und Gestaltung dem Hauptflügel angepasst. Im Südostturm befindet sich die Schlosskapelle, die Südseite des Schlosshofes wird von einem dreigeschossigen Fachwerkbau begrenzt. An der Nordseite befindet sich die neue Zufahrt mit dem Torbau von 1855, an der Südseite lag der alte Burgzugang, an diesen schließen sich Reste der spätgotischen Zwinger- und Vorburgmauern mit einem runden Flankenturm an.